% to add a font
%  * copy windows/fonts/simsun.ttc to /usr/share/fonts/someDIR
%  * make the DIR 777
%  * sudo mkfontscale, mkfontdir, fc-cache
%  * fc-list | grep Sim to see whether it has been successful
%  * finally run xelatex z.tex


\documentclass[CJK,a3paper,12pt,landscape]{article}
\usepackage{xeCJK}
\setCJKmainfont{SimSun}
\usepackage{animate}

\usepackage{verbatim, xcolor}

\usepackage[colorlinks, linkcolor=red]{hyperref}
\usepackage{fancyvrb}
\setlength{\headheight}{15pt}

\usepackage{parcolumns}
\usepackage{pdfcomment}
\usepackage{amsmath}
\usepackage{pstricks-add}
%\usepackage{pdftricks}


\usepackage{marginnote}
%\usepackage{color}
%
%\definecolor{zcolor}{rgb}{1,0.2,0}

\setlength{\marginnotetextwidth}{15cm} 

\setlength{\marginparwidth}{15cm} 
\setlength{\marginparsep}{1cm} 

\def\zlsc  #1{
\marginpar{ 
lsc:
\ifnum #1 = 1
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{1} 
  \newframe[1.5]
    1
  \end{animateinline} 
\else
1
\fi
lsc iff epigraph closed，
\ifnum #1 = 2
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{2} 
  \newframe[1.5]
    2
  \end{animateinline} 
\else
2
\fi
lsc iff all level sets closed，
\ifnum #1 = 3
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{3} 
  \newframe[1.5]
    3
  \end{animateinline} 
\else
3
\fi
lsc iff $\liminf_{x\to x_0} f(x) \ge f(x_0)$
%
}
\colorbox{lightgray}{zlsc#1}
}                  


\def\zsup  #1{
\marginpar{ 
sup of a set:
\ifnum #1 = 1
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{1} 
  \newframe[1.5]
    1
  \end{animateinline} 
\else
1
\fi
sup $\le c_0$ iff every $\le c_0$ iff $\forall e>0, \sup < c_0+e$,
\ifnum #1 = 2
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{2} 
  \newframe[1.5]
    2
  \end{animateinline} 
\else
2
\fi
sup $< c_0$ then all $<c_0$, 并且all$<$则sup$\le$，
%
\ifnum #1 = 3
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{3} 
  \newframe[1.5]
    3
  \end{animateinline} 
\else
3
\fi
sup $\ge c_0$ iff some $\ge c_0$,
%
%
\ifnum #1 = 4
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{4} 
  \newframe[1.5]
    4
  \end{animateinline} 
\else
4
\fi
sup $> c_0$ iff some $> c_0$,
%
%
\ifnum #1 = 5
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{5} 
  \newframe[1.5]
    5
  \end{animateinline} 
\else
5
\fi
maximizing sequence具体化, 
%
%
\ifnum #1 = 6
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{6} 
  \newframe[1.5]
    6
  \end{animateinline} 
\else
6
\fi
sup(和)更小，
%
}
\colorbox{lightgray}{zsup#1}
}



\def\zlimsup  #1{
\marginpar{ 
limsup:
\ifnum #1 = 1
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{1} 
  \newframe[1.5]
    1
  \end{animateinline} 
\else
1
\fi
能达的最大 子列函数值 极限，
\ifnum #1 = 2
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{2} 
  \newframe[1.5]
    2
  \end{animateinline} 
\else
2
\fi
limsup(和)的不等式，
%
\ifnum #1 = 3
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{3} 
  \newframe[1.5]
    3
  \end{animateinline} 
\else
3
\fi
limsup(负)=-liminf，
%
\ifnum #1 = 4
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{4} 
  \newframe[1.5]
    4
  \end{animateinline} 
\else
4
\fi
limsup(和)= limsup + lim，
%
\ifnum #1 = 5
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{5} 
  \newframe[1.5]
    5
  \end{animateinline} 
\else
5
\fi
y沿某轨线趋向x的limsup更小，
%
\ifnum #1 = 6
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{6} 
  \newframe[1.5]
    6
  \end{animateinline} 
\else
6
\fi
limsup(积)=limsup * lim，
%
\ifnum #1 = 7
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{7} 
  \newframe[1.5]
    7
  \end{animateinline} 
\else
7
\fi
limsup > 0则存在子列ev. $\ge \epsilon_0$，而limsup$\ge 0$ iff $\limsup> -\epsilon, \forall\epsilon>0$,
%
%
\ifnum #1 = 8
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{8} 
  \newframe[1.5]
    8
  \end{animateinline} 
\else
8
\fi
limsup $\le K_0$ iff for all $e>0$ 有一个球ev.全$<K_0+e$
%
}
\colorbox{lightgray}{zlimsup#1}
}                  




\def\semiG{ 两段u的拼接效果}
\def\semiGProperty #1{
 \ifnum #1 = 0 %definition
   {\color{red}semiG属性\semiG}
 \else
   {\color{red}semiG属性}\marginpar{\semiG}
 \fi
}

\def\LiuYL46{ $a\le 0$ iff $a\le \epsilon\forall\epsilon>0$ }
\def\infExemplify #1{
 \ifnum #1 = 0 %definition
   {\color{red}infExem手法\LiuYL46 }
 \else
   {\color{red}infExem手法}\marginpar{\LiuYL46 }
 \fi
}

\def\zsed  #1{
\marginpar{ 
sed
\ifnum #1 = 1
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{1} 
  \newframe[1.5]
    1
  \end{animateinline} 
\else
1
\fi
:s替换，
\ifnum #1 = 2
  \begin{animateinline}[autoplay,loop]{.5}
    \color{red}{2} 
  \newframe[1.5]
    2
  \end{animateinline} 
\else
2
\fi
:d删除，
}
\colorbox{lightgray}{sed#1}
%\end{codeshow}
}                  


\def\about #1 {
\marginpar {
%\psline[linewidth=1.7pt,linearc=0.2]{->}(1.5,-0.2)(2.5,-0.2)(2.8,-0.1)
about:
\begin{psmatrix}[rowsep=-0.4,colsep=0.07]
\ifnum #1 = 1 {\color{red}{ 1}} \else 1 \fi
\rnode{about1}{处处} & & & & & & \\ 
&
\ifnum #1 = 2 {\color{red}{ 2}} \else 2 \fi 
\rnode{about2}{反向} & &  & & &
\ifnum #1 = 7 {\color{red}{ 7}} \else 7 \fi 
\rnode{about7}{关于} \\
& &
\ifnum #1 = 3 {\color{red}{ 3}} \else 3 \fi 
\rnode{about3}{大约} &
\ifnum #1 = 4 {\color{red}{ 4}} \else 4 \fi 
\rnode{about4}{闲逛} &
\ifnum #1 = 5 {\color{red}{ 5}} \else 5 \fi 
\rnode{about5}{邻近} & & &
\ifnum #1 = 8 {\color{red}{ 8}} \else 8 \fi 
\rnode{about8}{秉性} &
\ifnum #1 = 9 {\color{red}{ 9}} \else 9 \fi 
\rnode{about9}{解决} &
\ifnum #1 = 10 {\color{red}{ 10}} \else 10 \fi 
\rnode{about10}{因为} \\
& & & & &
\ifnum #1 = 6 {\color{red}{ 6}} \else 6 \fi 
\rnode{about6}{身上} & & & &\\
\ncangle[angleA=85,angleB=165]{**->}{about1}{about2}
\ncangle[angleA=85,angleB=160]{**->}{about2}{about3}
\ncangle[angleA=85,angleB=160]{**->}{about2}{about4}
\ncangle[angleA=85,angleB=160]{**->}{about2}{about5}
\ncangle[angleA=85,angleB=150]{**->}{about5}{about6}
\ncangle[angleA=85,angleB=165]{**->}{about1}{about7}
\ncangle[angleA=85,angleB=160]{**->}{about7}{about8}
\ncangle[angleA=85,angleB=160]{**->}{about7}{about9}
\ncangle[angleA=85,angleB=160]{**->}{about7}{about10}
\end{psmatrix}
}
\colorbox{lightgray}{about#1}
}


\newcommand{\zc}[1]{%
   {\color{red}#1}} 

\author{Hongchang Zhao}
\title{The Book For Myself}
\usepackage{geometry}
\geometry{left=1.1cm,right=21.0cm,top=1cm,bottom=1cm}
\begin{document}
\maketitle
\tableofcontents

\section{todo}
宫.18中，有f(x,u)关于x是连续可微的描述，

控制函数的空间取平方可积的，难道不够用？


\section{重要策略}
\subsection{sup of a set}
\zsup{1}
可以说，sup的作用在于将一个集合中的所有点，抽象成一个元素来管理它。
例如，sup $\le$ iff each of the elements in the set is less than.
But in traditional analysis, sup的操作用起来不舒服，因为经常涉及到存在性(in R)的问题，例如那个最常见的非空有界必有上确界
(of course in R). 非空是因为对于empty set, 
sup is by convention $+\infty$.
%

And in modern analysis, sup的存在性不是问题，因为扩展实数里包含了符号$+\infty$.
既然sup也是a number in extended real numbers,
then for any two numbers L手法保证了$\sup \le$能化作$<$，即sup $\le some$ iff for all $\epsilon>0$
\[
all < some + \epsilon
\]
Note that the above equation comes directly from the property of the set of real numbers
(but not from the property of $\sup$),
since real numbers 致密 and 
$\sup$ can be simplify regarded as a 普通的元素 in extended real numbers.

在优化理论中，sup最常见的功能是它有一列优化子，极限达到sup。\zsup{5}
Note that 优化子的极限可达sup与在集合上sup is attainable are completely different.
See the book of Kolmogorov.31 to find 接触点和极限点是不同的概念，但十分相似
in that the touching point of a set is the point
that can be the limit of a sequence,
which contains the elements drawn from the set (and some of the elements can be the same).
And a limit point is the limit of a sequence containing pairwise different elements
draw from the set.
当论及minimizing sequence时，touching point or limit point is
not the highlight point,
% 就近一致：谓语的单复数形式靠近它的主语的单复数来确定。
or the repetitiveness of the elements of the sequence
has nothing to do with attainability of sup.
这里只有三个情况，全相同则sup is attained right at this element,
if finitely many pairwise相同，则因为seq的定义必有infinitely many不同，重新选择...
哪天心情好再继续这个。

\subsubsection{这个exemplify策略}
因为sup涉及到极限过程，所以，化成确定的元素比较容易把握，这也就是maximizing sequence\zsup{5}这样的一个
exemplifying的过程，然后，通过具体的元素之间操作，得到sup和其他sup之间的关系。

\subsubsection{应用exemplify策略到BV}
A function of bounded variation on some interval, then子区间的两段拼接之后
有一个重要的现象：即子区间的任意划分组合起来之后就是原区间上的一个划分，但原区间的划分还要更多，
because the partitions of the whole interval contain the special ones whose partitioning points happen to have
the common points of the two subintervals。
因此，就可以得到：
\[
vari(part1 + part2) = vari(part1) + var(part2)
\]
since any partition means there are only finitely many partitioning points and thus
the two variations on subintervals can be added directly to get the variation on the whole interval.
This property depends only on additivity concerning finitely many elements.

注意到BV=sup(vari)和\zsup{5}, we exemplify BV(1) and BV(2)
\[
BV(whole) \ge leftSide > BV(1) + BV(2) - 2\epsilon
\]
最后得到$\ge$ by applying L手法。

For $\le$, first exemplify BV(whole) by some 划分P0，然后发现，如果此划分中有common point就不动，否则
add the common point of the two subintervals into P0.
When P0 becomes finer, 注意到一个最关键的表达式
\[ BV(whole) \ge vari(finer) \ge vari(P0) > BV(whole) - \epsilon 
\]
which states that finer partition can still exemplify sup.

Now that a finer partition can exemplify sup and meanwhile contains the common point,
split this partition into the two subintervals.
根据上面最关键的等式，得到
\[
vari(finer1) + vari(finer2) > BV(whole) - \epsilon
\]

Taking \zsup{6} gives
\[
BV(1)+BV(2) \ge \sup(vari1+vari2) \ge leftSide > BV(whole) -\epsilon
\]
过河拆桥后的最终结果是：$\ge$，当然还要应用一下L手法。

在这个例子里面，P0，finer partition, finer1 and finer2 全都是桥，最后全不留下。


\subsection{函数的上极限: }
$\limsup_{x\to\infty} f(x)$是最大的$f(x_n)$极限，当$x_n\to\infty$时。
有个定理说，所有子列的极限组成的集合存在maximum，即最大值可达。
\subsubsection{limsup的作用}
The supremum of a function on $[0,\infty)$ is just its maximums,
if the maximum exists,
and $\infty$ if it does not exist.
It, however, does not tell anything about how the function behaves as $x\to\infty$.
所以，limsup就是干这个的！

\[\limsup_{x\to\infty} f(x) = \lim_{y\to\infty} \sup_{x\ge y} f(x)\]
\[\limsup_{x\to\infty} f(x) = \inf_{region Containing \infty} \sup_{x\in theRegion} f(x)\]
注意，region containing $\infty$显然不严谨，因为实数是不会包含无穷的，它的意思应为
空心的区域。

\subsection{Kolmogorov书.82上说的手法}
从Kolmogorov的lsc的证明，发现的liminf的一个刻化。即是说
$\liminf f(x) \ge K_0$
iff for all $\epsilon > 0$,
we have a $\delta$ neighbore
such that all points in this neighbore satisfy
$f(x) > K_0 - \epsilon$.\zlimsup{8}

Proof: 应用一下L手法，two numbers \[a \ge b\] iff for all $\epsilon >0$, 
we have $a> b - \epsilon$.
Now 
\[\liminf f(x) \ge K_0\]实际上就是下面的样子：
\[ \lim_{\delta\downarrow 0} \inf_{0<|x-x_0|\le \delta} f(x) > K_0 - \epsilon \]
for all $\epsilon>0$.
需要注意递减的特点，也就是：
\[ \sup_{\delta> 0} \inf_{0<|x-x_0|\le \delta} f(x) > K_0 - \epsilon \]
%
下面就是应用一下$\sup > c_0$的characterization \zsup{4} iff
there is some $\delta_0$ such that
\[ \inf_{0<|x-x_0|\le \delta_0} f(x) > K_0 - \epsilon \]
which means all points in the neighbore satisfy the same inequality.

Proof2: 应用一下L手法，$some \le K_0$ iff $some< K_0 +\epsilon$.
In this way, one gets $\limsup < K_0 + \epsilon$.
\zlimsup{1} states that there exists a subsequence with a limit which is equal to limsup.
From 极限保序性，there exists a neighbore ev. $<$ for this subsequence.
现在要证明的是原seq中所有的东西也在这neighbor中。
反设，有原seq中的some$\ge$，那这样的点必有可列多个，否则，有限多个则有最小的那个，让
neighbore足够小就把这有限多个给排除掉了。所以，总结一下，意思就是，
原seq中就必须有一个子列i.o.$\ge K_0+ \epsilon$，那么这个子列的limsup肯定也$\ge$，
而有个结果说，子列的limsup$\ge$原seq的limsup，这与原seq的limsup$\le K_0$相矛盾。
以后再理一下。



\subsection{Inf exemplify: \infExemplify{0}}
相当于Linux脚本中的过河拆桥策略。

\subsection{semiGProperty: \semiGProperty{0}}
重要特点，要想明白：\semiGProperty{1}

\section{Mayer problem}
本节中，最重要的是linear growth
\subsection{Linear growth of $f$ in $x$}
$f(t,x)$连续，U紧，且$f$ is Lipschitz in $x$ uniformly for $u$ in $U$.
Then $f(x,u) \le C + K|x|$

Proof: 考虑0和x，应用Lipschitz关系，C可取为
$max |f(0,u)|$（因为f连续而U紧）。

扩展：实际上，fixed some point $x_0$, $f(x_0, u)$ being continuous is enough.

\subsection{All trajectories starting from $x_0$ have common bound}\label{theorem_all_traj_from_x0_have_common_bound}
条件同上

Proof: Let $y(t;t_0,x_0,u)$ has a upper bound

$ |x_0| + \int (C+K|y(s;t_0,x_0,u(\le s) )| $

Since it holds for the history $[t_0,s]$ of all possible controls,
we can use Gronwall's inequality to deduce that

$|y(t;t_0,x_0,u(\le t) ) | \le
 ( |x_0| + C(t_1-t_0) ) \exp K(t_1-t_0)
$

\subsection{Fix $t_0$ and $u(\cdot)$, $y$ is stable w.r.t. initial $x$}

Proof: $ | y(t; t_0, x_0, u(\le t) )  -
           y(t; t_0, x_1, u(\le t) )
|
=| x_0 - x_1 + \int f( y(s; t_0, x_0, u(\le s) ), u(s) ) -
                    f( y(s; t_0, x_1, u(\le s) ), u(s) )
|
$
From the Lipschitz assumption,
we deduce that the second term is bounded by

$(t_1-t_0) K | y(s; t_0, x_0, u(\le s) ) -
               y(s; t_0, x_1, u(\le s) )
| $

把轨线的差作为一个变量，the result also follows from Gronwall's inequality.

\subsection{value function}
Mayer: $V(t,x) = \min g( y(T; t,x, u(\cdot) ) ) $ over all control strategies.

如果设$g$连续，则\ref{theorem_all_traj_from_x0_have_common_bound}说明值域有界，因为连续函数作用在有界值上，仍有界，当然这里前提是$g$要定义在全实数上，不然反例是$1/x$在$(0,1]$上肯定无界。


\subsection{DPP: $ V(t,x) = \inf V(s, y(s; t, x, former u ))$.}\label{DPP_for_Mayer}
这个定理，用不到任何连续什么的性质，它是semigroup property的一个推论。

For any starting point $t \le T$, and for any time $s$ in betwwen,

$ V(t,x) = \inf V(s, y(s; t, x, former u ))$.

Proof: 
$V(s, y(s; t, x, former u) ) = inf g y(T; s, y(s; t, x, former u), latter u) $
因为latter u作为优化变量时，former u is fixed，所以，
应用一下\semiGProperty{1}, 

$= inf g y(T; t, x, former + latter)$

注意到还有一个inf，所以就是 $= inf g y (T; t, x, all u)$.
which is just the definition of $V(t,x)$.

\subsection{最优性原理：$V(t,x)=V(s, y(s;t,x,u \le s) )$ for optimal control}

实际上，这才是最优性原理，因为由这个等式，可以得出一句经典的结论：
用最优控制的前一半，作为前一半控制，则用中间得到的状态在中间时刻作为初始值作后一半优化时，得到的V，与全区间上直接用最优控制得到的V是一样的。
当然，最优控制如果不唯一的情况下，前一半最优u与后一半的多个最优u中任意一个拼上，都可以作为全区间的最优控制。

Proof: For optimal control, $u$ is optimal for the whole interval $[t,T]$
and is probably not optimal for either half interval.

Thus we can only get $V(s, y(s;t,x, opt former u) )$ is defined as
$ \inf g y(T; s, y(s;t,x, opt former u), latter u )$ which is
$ \inf g y(T; t,x, opt former u + latter u)$.


当只优化后一半时，明显如果latter half取特例为optimal latter u，
则 $V(s, y(s;t,x, opt former u) ) \le g y(T; t,x, whole opt u)= V(t,x)$.

而另一方面，由\ref{DPP_for_Mayer}，
$V(t,x) = inf V(s, y(s;t,x, former u) )$，而最优控制也是一个控制，所以，
它的前一半，也是一个可行的前一半控制，由inf定义
$V(t,x) \le V(s, y(s; t, x, opt former u))$.

\subsection{For any control：$V(t,x)\le V(s, y(s;t,x,u \le s) )$ }
由$V(t,x)$的inf关系，前u不管是什么，都有此关系。


\subsection{ DPP for Lag and Bolza}

\section{Conjugate functions}
\subsection{定义$f^*(\xi)= \sup\{<\xi,x>-f(x)\}$  }
B空间上的函数，$f^*$定义在线性连续泛函空间上。
从而，$f^{**}(x) = \sup <x,\xi> -f(\xi)$定义在$X^{**}$上，
对于自返B空间，$X^{**}=X$.

\subsection{$f$ proper, then $f^*$ never takes $-\infty$}
Properness means $f$ is finite at some point.
So $f^*\ge <\xi,x_0>-f(x_0)$ where the right-hand side is a real number.


\subsection{$f(x)+f^*(\xi) \ge <x,\xi>$, and equality holds iff $\xi\in \partial f(x)$ }
Proof: Fix $x_0$ and $\xi_0$. Then $\sup$ must be great than or eqaul to $<\xi_0, x_0> -f(x_0)$,
which leads to the first part of the result.

For the latter part, it is enough to show that
subdifferentials lead to $<x,\xi> \ge f(x) +f^*(\xi)$.
即这样的$\xi$在这样的x上，让函数
$<x,\xi> - f(x)$取到$\sup<x,\xi>-f(x) =: f^*(\xi)$.
即对于任何另一个点$x_1$有
$<x,\xi> -f(x) \ge  
 <x_1,\xi> -f(x_1) $. 注意到，这恰恰是subdifferential的定义。

\subsection{ $f \le g$ then $f^* \ge g^*$}
$f$小则$-f$大，应用$\sup$的保序性。


\section{Topology}

\subsection{weak topology}
需要弱拓朴的原因是，无限维空间中，unit ball不再compact。
而compact在优化中很有好处，
所以，要寻找一个更弱的拓朴，让weakly compact得以出现。

弱收敛即是，对于所有的线性连续泛函来看，从它的视角上点列收敛。

\subsection{重要定理}
自返空间上all norm-closed balls in X are weakly compact.

而自返空间有很多：所有Hilbert，

\subsection{lsc, weakly compact与优化}
注意一下，所有的东西，都是为了优化而生的。

因此，lsc是优化中需要的，足够了。包括更多更多的泛函。

当然了，这里并没有说明，是哪个拓朴，可以是strong (norm) topology或weak topology。
不管哪个，lsc都是与拓朴相关的，所以有weakly lsc或strongly lsc。


最重要的优化定理：compact topological space X ensures that the minimum of an lsc function is attained.

证明：
就取$c_0 = \inf + 1$，因此，all minimizing sequence $x_n$全在这个level set中，

\zlsc{2}保证了level set闭，

X is compact，而紧的闭子集仍紧，所以，有收敛子列$x_{n_k} \to x_0$。

另一方面，minimizing sequence写作作$f(x_n) \to \inf$，因此子列也收。

由lsc的数量关系\zlsc{3}，所以可达。



\subsection{weakly lsc implies strongly lsc}
证明：根据\zlsc{1}可得，只要证明 weakly closed => strongly closed

strongly close意思是 $|x_n - x| \to 0 $则$x$也封闭，要证明这个即是假设norm极限的情况下，证明$x$封闭。

norm极限就保证了，
$|\langle p, x_n -x \rangle | \to 0$

而已知的是weakly closed，所以$x$必封闭。

\subsection{weakly lsc implies strongly lsc，反向情况}
 反向的，只在convex情况下成立，即convex and strongly lsc => weakly lsc.

 同样由\zlsc{1}，只要证明convex and strongly closed => weakly closed.

要证明的是对于所有的线性连续泛函p，$\langle p, x_n - x \rangle \to 0$则有$x$封

目前只有strongly closed，所以，就要从这个表达式加上convex证明出来$|x_n -x |\to 0$。

先弄清楚，这里的$x_n$的形式是什么，因为是epigraph，所以$x_n$实际上是一个二元组：$\{(x_n, y_n) |  y_n \ge f(x_n) \} $
这个观察很重要，不然不清楚函数哪里出现了。

现在有的是 $\langle (p,q), (x_n,y_n) - (x,y) \rangle \to 0$，
要联合上convex证明出来norm极限$ | (x_n, y_n) - (x, y) | \to 0$

这个思路，走不下去了，继续找别的办法，重复一下目标：
$\langle p, x_n - x \rangle \to 0$加上convex，得出来$|x_n -x |\to 0$。

可以直接应用Mazur's theorem：点列弱收敛到$x$，则点列的convex hull中存在另一个点列，它强收敛到$x$。

那么，由于convex iff epigraph convex，所以，可以从strongly closed直接得出x封。


\section{$C^1$}
\subsection{几个等价定义}
偏导数存在且连续

所有方向导数存在且连续

某邻域内G可微且导数连续

某邻域内F可微且导数连续

某邻域内strict可微且导数连续

\subsubsection{偏导数存在且连续，能推出F可微}
所以，这个最弱的定义：偏导数存在且连续，就能推出某邻域内F可微且导数连续，就能推出某邻域内G可微且导数连续，
而下面，又证明了某邻域内G可微且导数连续能推出某邻域内strict可微且导数连续。

这个证明比较长，而且，要分成几块，为了方便复用一下。这个本质的证明，一定要弄清楚。

\subsubsection{G可微且导数连续，能推出Strict可微}
只要证明了本结果，则因为Strict可微能推出F可微，
就有G可微且导数连续，就能推出F可微且导数连续。

再因为，G可微要求方向导数存在，且表为$<p,v>$的形式，所以，？

证明：因为某个邻域内为G可微，所以，总能选取一个充分小的量，在这个ball中所有点均是G可微。
考虑函数$g(t):[0,1]\to R$
\[
g(t) = f( y+tv ) - f(y)
\]
则此单变量实函数可导，因为：
\[
\lim_{h\to 0} (g(t+h) - g(t) )/h = \lim ( f(y+tv + th) - f(y+tv) )/h
\]
注意在邻域内为G可微，所以，在$y+tv$上G可微（当然要取得比较小，此点在小ball中才行的）。而上面的公式，恰恰就是$y+tv$处G可微的定义。

可导则能用the mean value theorem to get
$g(1)-g(0) = g'(some) $, i.e.
\[
f(y+v) - f(y) = < f'(y+ \theta v), v>
\]

最后考虑strict可微的表达式分子是：
\[
f(y+v)-f(y) - <p,v> = < f'(y + \theta v ) -p , v>
??
\]

\subsection{G可微，定义作方向导数存在，且表为线性泛函的形式}
所以，必须举出例子，它的方向导数全存在，但无法表为线性连续泛函的形式。
如一维下的$|x|$，方向导数全是1，而若有$p$表为线性连续泛函的形式，这将意味着
$<p,1>=1, <p,-1>=1$而这显然不可能的。

G可微用公式表为：
\[
\lim_{t\downarrow 0} \frac{ f(x+tv)-f(x)-<p,tv> }{t}=0  ,
\]
其中的含义在于，让表达式的值达到小量$\epsilon$时，$\delta$的范围与方向$v$相关。

如果，可以让$v$一致，那就是F可微，写成公式就是
\[
\lim_{t\downarrow 0} \sup_{|v|\le 1} \frac{ f(x+tv)-f(x)-<p,tv> }{t}=0  ,
\]

\subsubsection{G可微，则导数唯一}
注意到：
\[
\lim_{t\downarrow 0} \frac{ f(x+tv)-f(x)}{t}=<p,v>  ,
\]
而左边是一个与v相关的函数，由于极限的唯一性，得到若有两个线性连续泛函满足，
则必有$<p,v>=<p_1,v>$对所有$v$
成立，则只能这两个线性连续泛函相同。

\subsubsection{G可微，且convex，则导数属于convex subdifferential}
因为f is convex and G differentiable at $x_0$，
所以，任何另一个点$x$，
要证明导数能满足下面的不等式：
\[f(x) - f(x_0) \ge \langle \cdot, x-x_0 \rangle
\]
注意到一个非常巧妙的变换：
\[
f(x) - f(x_0) = f(x_0 + t(x-x_0) ) - f(x_0) 
\]
它就是$t$取1和0得到的二点差商！由于convex o affine仍convex，所以，
这个差商必大于定义$t\downarrow 0$点处的方向导数的那些差商们，
根据极限的保序性得到
上式$\ge $ 方向导数。

最后，因为G可微，所以方向导数能表示成一个线性连续泛函，因此符号也
也就是那个
\[ \langle f'_G(x_0), x-x_0\rangle\]
而这恰恰就是convex subdifferential的定义

\subsection{F differentiable}
F可微即存在从$X$到$Y$的一个线性连续映射，它可以近似差量：
\[
\lim_{v\to 0} \frac{ |f(x+v)-f(x)-<p,v>|_Y }{|v|_X}=0  ,
\]
where differentiability is preserved among equivalent norms,
since a positive scale does not change the limit to 0.
%
当然，把$p$表示作$f'(x)$更有符号优势，实际上，求导运算的值就是一个线性连续映射或
特殊情况下为线性连续泛函。

此表达式与上面的表达式
\[
\lim_{t\downarrow 0} \sup_{|v|\le 1} \frac{ f(x+tv)-f(x)-<p,v> }{t}=0  ,
\]
等价，但这里需要一个证明，?


\subsubsection{F可微iff一阶Taylor成立}

\subsubsection{F可微则导数唯一}
F可微分必G可微，从而G导数唯一，这样证明的话，差一点：
那个唯一的G导数刚好就是F导数。

\subsubsection{F differentiable 则连续}
显然，当$v\to 0$时，必有
$ f(x+v) - f(x) - <p,v> \to 0$
注意到，$p$是一个固定的线性连续泛函，从而
$\lim <p,v> = <p, \lim v> = 0$，得出$f$连续。


\subsubsection{F可微与G可微不同}
要一个例子，即在有限维空间下，也有G可微但不连续的情况

\subsubsection{F可微，则必有方向导数，且方向导数表为$<f'(x),v>$}
实际上，F可微则G可微，从而，由G可微有上述性质，则F可微也有上述性质。并且，F可微和G可微时，
导数均是唯一的，所以两者必重合。

但从头证明一下也很有意义，详细如下。
%
因为，固定一个方向$v$时，$tv$对于小量$t$来说，必是趋向于0的，从而，F可微应用一下：
\[
\lim_{t\downarrow 0} \frac{f(x+ tv) - f(x) -<p, tv>}{t |v|} = 0
\]
因为$v$固定，所以可以左右乘以它的norm，得到：
\[
\lim_{t\downarrow 0} \frac{f(x+ tv) - f(x) }{t} - <p,v> = 0
\]

\subsection{Strictly differentiable}
\[
\lim_{v\to 0, y\to x} \frac{ |f(y+v)-f(y)-<p,v>|_Y }{|v|_X}=0  ,
\]
注意一下，如果分子是R上的，有没有norm都是一样的，？。
另外，$y\to x$的方式应当与clarke广义导数的定义相同，
可包含$x$与另一个变量的空心趋向方式不同。

\subsubsection{Strict可微则F可微}

注意到双极限符号可以表示作：
\[
\lim_{t\downarrow 0} \sup_{ 0<|v|\le t, |y-x|\le t} ... =0
\]
因为集大sup大，所以，
$y$取定为$x$时，肯定也成立，即：
\[
\lim_{t\downarrow 0} \sup_{ 0<|v|\le t, |y-x|=0} ... =0
\]
显然等价于
\[
\lim_{|v| \to 0}  ... =0
\]


\subsubsection{strict可微则导数唯一}

% zhc 
\section{周期函数}
\subsection{实函数若$\lim_{x\to\infty} f(x)=0$，则恒为0}

证：对于任意x0及任意的小量。
极限保证有M，当x>M时，|f|小于小量。
周期函数则必有f(x0)的副本进入到x>M，则f(x0)小于小量。再用\infExemplify{1}

证：反证，若f(x0)>0。
周期保证对任意M，有xn>M且f(xn)=f(x0)。
则存在一列xn->inf其极限却为f(x0)不是0。
与函数极限的定义矛盾。



\section{HJB and nonsmooth analysis}
有好几种subdifferentials，它们的关系相对复杂，需要弄清楚:
F subdifferential, Dini subdifferential, Clarke subdifferential, limiting subdifferential, reachable subdifferential, proximal subdifferential and viscosity subdifferential.
实际上，subdifferentials是连续线性泛函，这在Rn上不明显，因为它的共轭空间是它本身。

Dini次微分等同于viscosity subdifferential。F次微分只在有限维情况下，才等同于viscosity subdifferential.

Clarke subdifferential最奇怪，因为super- and subdifferential are the same.

有个定理讲，weak* compact set in X* iff it is characterized by its support function，所以，弄清楚它们之间的
控制函数和对偶关系十分重要。

\subsection{Differentials and control functions}
In a sense every kind of differentials can be represented as
a family of linear functionals majorized by a nonlinear functional.
The relationship between the differentials and the corresponding
control functionals leads to different views in characterizing
differentials.

\subsection{F differential只在有限维空间上等同于V}

\[ \partial F^+f(x) = \left \{
p \Big|  \limsup_{y\to x}\frac{f(y)-f(x) - <p,y-x>}{|y-x|}\le 0 \right\}
\]

\[ \partial F^-f(x) = \left \{
p \Big|  \liminf_{y\to x}\frac{f(y)-f(x) - <p,y-x>}{|y-x|}\ge 0 \right\}
\]
the form analogous to traditional differentiability.

因为\zlimsup{3}，所以，它们之间有关系$\partial F^- (-f)(x)= -\partial F^+ f(x)$

\subsubsection{F subdifferentials are convex sets}
因为\zlimsup{2}，所以，它们convex

\subsubsection{F subdifferentials are closed sets}
这里需要研究一下怎么证明，当然，用到F下微分和Dini下微分的等价性（只针对有限维空间时等价），
再取极限是可以的。 一般情况下的证明，实际上只要研究limsup和lim的可交换性。

\subsection{Dini differential: D表示Dini}
Surprisingly, there are equivalent definitions which are also called Dini
subdifferentials:
\[ \partial D^+f(x) = \left \{
p \Big|  \limsup_{w\to v, t\downarrow 0}\frac{f(x+ wt)-f(x) }{t}\le <p, v>, \forall v \right\}
\]

\[ \partial D^-f(x) = \left \{
p \Big|  \liminf_{w\to v, t\downarrow 0}\frac{f(x+ wt)-f(x) }{t}\ge <p, v>, \forall v \right\}
\]
where the control functions are two-variable-version Dini sub and superderivative.
翻译成语言，就是下微分是由Dini下导数控制的连续线性泛函，而
上微分是控制Dini上导数的那些连续线性泛函。

\subsubsection{ 双变量版本的退化}
这是双变量版本的Dini，而一旦函数本身是Loc. Lipschitz，则双变量版本

\[ D^+ f(x;v) = 
 \limsup_{w\to v, t\downarrow 0}\frac{f(x+ wt)-f(x) }{t}
\]

退化为单变量版本的

\[ D^+ f(x;v) = 
 \limsup_{t\downarrow 0}\frac{f(x+ vt)-f(x) }{t}
\]
这是因为，两者的差受控于一个函数，此函数恰好关于$w$为连续的，而$v$是定值，所以，差当$w$趋向$v$时极限是0，可以应用上\zlimsup{4}。

\subsubsection{ $\partial D^+$ convex and closed}
太简单了，因为右边只关于p，所以线性运算和极限运算全可以上去。

\subsubsection{ 有限维下$\partial F^+ f(x) = \partial D^+f(x)$, 一般情况下F小}
因为$w\to v, t \downarrow 0$是趋向于$x$的一个方向，则由
\zlimsup{5}可得到，
F superdifferential中的元素，更能让
\[
\limsup_{w\to v, t\downarrow 0}\frac{f(x+ wt)-f(x) -<p, wt>}{t|w|} \le 0
\]

发现，拆项后$<p,w>/|w|$当$w\to v$时有极限，应用\zlimsup{4}，得出，
\[
\limsup_{w\to v, t\downarrow 0}\frac{f(x+ wt)-f(x) }{t|w|} \le <p,v>/|v|
\]
再应用\zlimsup{6}，得到：
\[
{(1/|v|)}\limsup_{w\to v, t\downarrow 0}\frac{f(x+ wt)-f(x) }{t} \le \langle p,v \rangle/|v|
\]
两边同时乘以一项$|v|$。So F superdifferential is contained in Dini superdifferential.

另一方向，假设Dini superdifferential中有一个元素不在F differential中，则
应用\zlimsup{7}，可得存在一个$\epsilon$且
存在子列趋向$x$，让
\[
\limsup_n \frac{f(x_n)-f(x) -\langle p, x_n-x \rangle }{|x_n -x|} \ge \epsilon
\]
这里，由于 $(x_n - x)/||$ 是单位向量，所以，有界，Rn中有界列必有收敛子列，
再因为单位向量范数均为1且范数连续，所以极限的范数也是1。设极限为$v$，
从而，
\[
\limsup_k \frac{f(x + |x_{n_k}-x| \times (x_{n_k} -x)/|x_{n_k}-x|) -f(x) -\langle p, x_{n_k} -x \rangle }{|x_{n_k}-x|} \ge \epsilon
\]

应用\zlimsup{3}，得出：
\[
\limsup_k \frac{f(x + |x_{n_k}-x| \times (x_{n_k} -x)/|x_{n_k}-x|) -f(x) }{|x_{n_k}-x|}  \ge \langle p,v \rangle +  \epsilon
\]

因为$|x_{n_k}-x|$是趋向于0的一个轨线，而$(x_{n_k} -x)/|x_{n_k}-x| \to v$，符合Dini双变量上导数的定义中的一个特殊的轨线，所以，由\zlimsup{5}有，

\[ D^+ f(x;v) = 
 \limsup_{w\to v, t\downarrow 0}\frac{f(x+ wt)-f(x) }{t}
\]
要更大，至少是$\langle p,v \rangle +  \epsilon$. 因为严格大于$\langle p,v \rangle$，所以，
不可能在$\partial D^+ f(x)$中，因为上微分的定义是对所有的$v$要全面碾压Dini上导数。



\section{bak:}
 众\zsed{1}所周知
\about{1} and

\about{2} \about{3} \about{4} \about{5}


\[
  \begin{vmatrix}
      a_{11} & a_{12} & \cdots & a_{1n} \\
                 & a_{22} & \cdots & a_{2n} \\
                       \psellipse[rot=45](0.5,0)(0.3,0.6) & & \ddots & \vdots \\
                             & & & a_{nn}
                                 \end{vmatrix}
                                     =
                                         \begin{vmatrix}
                                             a_{11} &  &  &  \\
                                                 a_{21} & a_{22} &  & \psellipse[rot=45](-0.5,0.1)(0.3,0.6) \\
                                                     \vdots & \vdots & \ddots  & \\
                                                         a_{n1} & a_{n1} & \cdots & a_{nn}
                                                             \end{vmatrix}
                                                                 = a_{11}\, a_{22}\cdots a_{nn}
\psline[linewidth=0.5pt]{->}(0,0)(-1,1.732)
\psarc[arcsepB=0.25pt]{-}{0.5}{0}{30}
                                                                 \]
 \end{document}
